Synthetic Persona Pretraining: Alignment from Token Zero
合成角色预训练：从零 token 开始对齐
🧭 LLM 对齐 · 预训练阶段 persona 注入
EPFL · MATS · University of Toronto · Northeastern University · SJTU
在预训练阶段注入合成角色反思，从 token zero 安装助手人格，提升对齐与鲁棒性
📌 工作参考价值（4 点）
- 若业务中有基于 LLM 的导购助手或 Agent，可在领域继续预训练阶段混入带品牌语调/平台规范的第一人称反思数据，让模型早期建立期望 persona，减少后期 RLHF/SFT 对齐成本。
- 借鉴 persona binding 思路：在通用预训练后，用少量用户-助手对话数据将预训练安装的 persona 绑定到特定助手身份，可能提升业务场景下响应一致性。
- 实验结果提示早期干预优于后期微调，且优势随预训练数据量增加而扩大；若预算允许，应尽早注入领域价值观而非仅靠后训练微调。
- 注意该方法主要针对通用对齐，电商搜索推荐中的直接迁移价值有限，需自行构造领域反射数据并验证对推荐指标无损害。